随着对数据隐私和数据量迅速增加的越来越关注，联邦学习（FL）已成为重要的学习范式。但是，在FL环境中共同学习深层神经网络模型被证明是一项非平凡的任务，因为与神经网络相关的复杂性，例如跨客户的各种体系结构，神经元的置换不变性以及非线性的存在每一层的转换。这项工作介绍了一个新颖的联合异质神经网络（FEDHENN）框架，该框架允许每个客户构建个性化模型，而无需在跨客户范围内实施共同的架构。这使每个客户都可以优化本地数据并计算约束，同时仍能从其他（可能更强大）客户端的学习中受益。 Fedhenn的关键思想是使用从同行客户端获得的实例级表示，以指导每个客户的同时培训。广泛的实验结果表明，Fedhenn框架能够在跨客户的同质和异质体系结构的设置中学习更好地表现客户的模型。
translated by 谷歌翻译
这项工作提出了利用对机器人周围环境的逐步改善的象征感知知识的一步，以证明适用于自动驾驶问题的正确反应性控制合成。结合了运动控制和信息收集的抽象模型，我们表明假设保证规范（线性时间逻辑的子类）可用于定义和解决谨慎计划的流量规则。我们提出了一种新颖的表示，称为符号改进树，以捕获有关环境的增量知识，并体现了各种符号感知输入之间的关系。利用增量知识来合成机器人的验证反应性计划。案例研究表明，即使在部分遮挡的环境中，拟议方法在合成控制输入方面的疗效。
translated by 谷歌翻译
可以使用医学成像数据研究人类解剖学，形态和相关疾病。但是，访问医学成像数据受到治理和隐私问题，数据所有权和获取成本的限制，从而限制了我们理解人体的能力。解决此问题的一个可能解决方案是创建能够学习的模型，然后生成以相关性的特定特征（例如，年龄，性别和疾病状态）来生成人体的合成图像。最近，以神经网络形式的深层生成模型已被用于创建自然场景的合成2D图像。尽管如此，数据稀缺性，算法和计算局限性仍阻碍了具有正确解剖形态的高分辨率3D体积成像数据的能力。这项工作提出了一个生成模型，可以缩放以产生人类大脑的解剖学正确，高分辨率和现实的图像，并具有必要的质量，以允许进一步的下游分析。产生潜在无限数据的能力不仅能够对人体解剖学和病理学进行大规模研究，而不会危及患者的隐私，而且还可以在异常检测，模态综合，有限的数据和公平和公平和公平和公平和公平和公平和公平和公平和公平和公平和公平和公平和公平的学习领域进行显着提高。道德AI。代码和训练有素的模型可在以下网址提供：https：//github.com/amigolab/synthanatomy。
translated by 谷歌翻译
我们研究了一种基于播种在随机节点上的个性化Pagerank矢量矩阵的简单嵌入技术。我们表明，该矩阵（1）的元素对数产生的嵌入与光谱嵌入具有重要意义的一类图形的光谱嵌入有关，因此可以对数据进行有用的表示，（2）可以为（2）完成（2）与网络的大小相比，整个网络或较小的部分，可以实现精确的本地表示形式，并且（3）使用相对较少的Pagerank向量。最重要的是，这种嵌入策略的一般性质打开了许多新兴应用，这些应用程序可能无法确定为基于Pagerank的亲戚。例如，类似的技术可以在来自HyperGraphs的Pagerank矢量上使用，以获取“光谱样”的嵌入。
translated by 谷歌翻译
随着大型语言模型（LLM）的成功及其用作代码助手（例如GitHub Copilot中使用的法典），在及时设计过程中引入特定领域知识的技术变得很重要。在这项工作中，我们提出了一个名为Repo级提示生成器的框架，该框架学会使用一组规则生成示例特定的提示。这些规则从整个存储库中获取上下文，从而结合了存储库的结构和其他相关文件（例如导入，父类文件）的上下文。我们的技术不需要访问LLM的权重，因此在我们只能使用Black-Box访问LLM的情况下，它适用。我们使用从Google Code Archives获取的代码存储库进行了有关单线代码Autocossletion任务的实验。我们证明，根据我们提出的规则构建的甲骨文允许对法典的相对改进多达36％，显示了规则的质量。此外，我们表明，当我们训练模型以选择最佳规则时，我们可以在Codex上获得显着的性能提高。可以在以下网址找到我们工作的代码：https：//github.com/shrivastavadisha/repo_level_prompt_generation。
translated by 谷歌翻译
程序合成的目标是从示例中找到一个与给定的输入输出示例一致的计算机程序。基于大多数基于学习的方法都尝试找到一个满足所有示例的程序一次。相比之下，我们的工作考虑了一个将问题分为两个阶段的方法：（a）查找只满足一个示例的程序，（b）利用这些每个示例解决方案来产生满足所有示例的程序。我们基于多主题注意机制介绍跨聚合器神经网络模块，该机制学会组合在这些每个示例解决方案中存在的提示来合成全局解决方案。在不同长度和两个不同的实验设置下的评估显示，当鉴于同时预算时，我们的技术显着提高了PCODER的成功率[Zohar等。 AL 2018]和其他消融基线。我们工作的代码，数据和经过培训的模型可以在https://github.com/shrivastavadisha/n-peps找到。
translated by 谷歌翻译